Despite significant progress in object categorization, in recent years, a number of important challenges remain; mainly, the ability to learn from limited labeled data and to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot, generalized zero-shot and open set recognition using a unified framework. Specifically, we propose a weighted maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms. Distance constraints ensure that labeled samples are projected closer to their correct prototypes, in the embedding space, than to others. We illustrate that resulting model shows improvements in supervised, zero-shot, generalized zero-shot, and large open set recognition, with up to 310K class vocabulary on Animal with Attributes and ImageNet datasets.

建模长期依赖关系对于理解计算机视觉中的任务至关重要。尽管卷积神经网络（CNN）在许多视觉任务中都表现出色，但由于它们通常由当地核层组成，因此它们仍然限制捕获长期结构化关系。但是，完全连接的图（例如变形金刚中的自我发项操作）对这种建模是有益的，但是，其计算开销非常有用。在本文中，我们提出了一个动态图形消息传递网络，与建模完全连接的图形相比，该网络大大降低了计算复杂性。这是通过在图表中自适应采样节点（以输入为条件）来实现的，以传递消息传递。基于采样节点，我们动态预测节点依赖性滤波器权重和亲和力矩阵，以在它们之间传播信息。这种公式使我们能够设计一个自我发挥的模块，更重要的是，我们将基于变压器的新骨干网络用于图像分类预处理，并用于解决各种下游任务（对象检测，实例和语义细分）。使用此模型，我们在四个不同任务上的强，最先进的基线方面显示出显着改进。我们的方法还优于完全连接的图形，同时使用较少的浮点操作和参数。代码和型号将在https://github.com/fudan-zvg/dgmn2上公开提供。

人类认知具有组成。我们通过将场景分解为不同的概念（例如，对象的形状和位置）并学习这些概念的各个概念（例如，运动定律）或人造（例如，游戏的定律）来理解场景。 。这些定律的自动解析表明该模型能够理解场景的能力，这使得分析在许多视觉任务中起着核心作用。在本文中，我们提出了一个深层可变模型，用于解析（CLAP）。拍手通过编码编码架构来实现类似人类的组成能力，以表示现场的概念为潜在变量，并进一步采用特定于概念的随机功能，并在潜在空间中实例化，以捕获每个概念的法律。我们的实验结果表明，拍手优于比较多个视觉任务中的基线方法，包括直观的物理，抽象的视觉推理和场景表示。此外，拍手可以在场景中学习特定于概念的法律，而无需监督，并且可以通过修改相应的潜在随机功能来编辑法律，从而验证其可解释性和可操作性。

人的大脑可以毫不费力地识别和定位对象，而基于激光雷达点云的当前3D对象检测方法仍然报告了较低的性能，以检测闭塞和远处的对象：点云的外观由于遮挡而变化很大，并且在沿线的固有差异沿点固有差异变化。传感器的距离。因此，设计功能表示对此类点云至关重要。受到人类联想识别的启发，我们提出了一个新颖的3D检测框架，该框架通过域的适应来使对象完整特征。我们弥合感知域之间的差距，其中特征是从具有亚最佳表示的真实场景中得出的，以及概念域，其中功能是从由不批准对象组成的增强场景中提取的，并具有丰富的详细信息。研究了一种可行的方法，可以在没有外部数据集的情况下构建概念场景。我们进一步介绍了一个基于注意力的重新加权模块，该模块可适应地增强更翔实区域的特征。该网络的功能增强能力将被利用，而无需在推理过程中引入额外的成本，这是各种3D检测框架中的插件。我们以准确性和速度都在Kitti 3D检测基准上实现了新的最先进性能。关于Nuscenes和Waymo数据集的实验也验证了我们方法的多功能性。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

通用样式转移（UST）从任意参考图像中注入样式中的内容图像。现有的方法虽然享有许多实际的成功，但无法解释实验观察，包括UST算法的不同性能在保存内容图像的空间结构时。此外，方法仅限于对风格化的繁琐全局控制，因此它们需要其他空间掩码才能进行所需的风格化。在这项工作中，我们为UST的一般框架提供了系统的傅立叶分析。我们在频域中提出了框架的等效形式。该形式意味着现有算法平均处理特征图的所有频率组件和像素，但零频率组件除外。我们分别将傅立叶振幅和相位与革兰氏矩阵和样式转移的内容重建损失联系起来。因此，基于这种等效性和连接，我们可以解释具有傅立叶相的算法之间的不同结构保存行为​​。鉴于我们的解释，我们在实践中提出了两项​​操纵，以保存结构和所需的风格。定性和定量实验都证明了我们方法对最新方法的竞争性能。我们还进行实验以证明（1）上述等效性，（2）基于傅立叶幅度和相位的可解释性以及（3）与频率分量相关的可控性。

车道检测是许多实际自治系统的重要组成部分。尽管已经提出了各种各样的车道检测方法，但随着时间的推移报告了基准的稳定改善，但车道检测仍然是一个未解决的问题。这是因为大多数现有的车道检测方法要么将车道检测视为密集的预测或检测任务，因此很少有人考虑泳道标记的独特拓扑（Y形，叉形，几乎是水平的车道），该拓扑标记物是该标记的。导致亚最佳溶液。在本文中，我们提出了一种基于继电器链预测的新方法检测。具体而言，我们的模型预测了分割图以对前景和背景区域进行分类。对于前景区域中的每个像素点，我们穿过前向分支和后向分支以恢复整个车道。每个分支都会解码传输图和距离图，以产生移动到下一个点的方向，以及逐步预测继电器站的步骤（下一个点）。因此，我们的模型能够沿车道捕获关键点。尽管它很简单，但我们的策略使我们能够在包括Tusimple，Culane，Curvelanes和Llamas在内的四个主要基准上建立新的最先进。

一方（服务器）培训的检测模型可能会在分发给其他用户（客户）时面临严重的性能降解。例如，在自主驾驶场景中，不同的驾驶环境可能会带来明显的域移动，从而导致模型预测的偏见。近年来出现的联合学习可以使多方合作培训无需泄漏客户数据。在本文中，我们专注于特殊的跨域场景，其中服务器包含大规模数据，并且多个客户端仅包含少量数据。同时，客户之间的数据分布存在差异。在这种情况下，传统的联合学习技术不能考虑到所有参与者的全球知识和特定客户的个性化知识的学习。为了弥补这一限制，我们提出了一个跨域联合对象检测框架，名为FedOD。为了同时学习不同领域的全球知识和个性化知识，拟议的框架首先执行联合培训，以通过多教老师蒸馏获得公共全球汇总模型，并将汇总模型发送给每个客户端以供应其个性化的个性化模型本地模型。经过几轮沟通后，在每个客户端，我们可以对公共全球模型和个性化本地模型进行加权合奏推理。通过合奏，客户端模型的概括性能可以胜过具有相同参数量表的单个模型。我们建立了一个联合对象检测数据集，该数据集具有基于多个公共自主驾驶数据集的显着背景差异和实例差异，然后在数据集上进行大量实验。实验结果验证了所提出的方法的有效性。

近年来，深入学习的蓬勃发展的开花目睹了文本认可的快速发展。但是，现有的文本识别方法主要用于英语文本，而忽略中文文本的关键作用。作为另一种广泛的语言，中文文本识别各种方式​​都有广泛的应用市场。根据我们的观察，我们将稀缺关注缺乏对缺乏合理的数据集建设标准，统一评估方法和现有基线的结果。为了填补这一差距，我们手动收集来自公开的竞争，项目和论文的中文文本数据集，然后将它们分为四类，包括场景，网络，文档和手写数据集。此外，我们在这些数据集中评估了一系列代表性的文本识别方法，具有统一的评估方法来提供实验结果。通过分析实验结果，我们令人惊讶地观察到识别英语文本的最先进的基线不能很好地表现出对中国情景的良好。由于中国文本的特征，我们认为仍然存在众多挑战，这与英文文本完全不同。代码和数据集在https://github.com/fudanvi/benchmarking-chinese-text-recognition中公开使用。

低成本单眼的3D对象检测在自主驾驶中起着基本作用，而其精度仍然远非令人满意。在本文中，我们挖掘了3D对象检测任务，并将其重构为对象本地化和外观感知的子任务，这有​​利于整个任务的互惠信息的深度挖掘。我们介绍了一个名为DFR-Net的动态特征反射网络，其中包含两种新的独立模块：（i）首先将任务特征分开的外观定位特征反射模块（ALFR），然后自相互反映互核特征; （ii）通过自学习方式自适应地重建各个子任务的培训过程的动态内部交易模块（DIT）。关于挑战基蒂数据集的广泛实验证明了DFR网的有效性和泛化。我们在基蒂测试集中的所有单眼3D对象探测器中排名第一（直到2021年3月16日）。所提出的方法在许多尖端的3D检测框架中也容易在较忽略的成本下以忽略的成本来播放。该代码将公开可用。